通过 Nyström 方法弥合超维计算与核方法的鸿沟
文章背景与核心概要
超维计算(HDC)作为一种受认知科学启发的计算范式,近年来在低功耗、高并发硬件(如 FPGA 和内存计算架构)上展现出了巨大的应用潜力。然而,HDC 在机器学习任务中的性能高度依赖于原始数据向高维空间的映射方式,这限制了其处理复杂非线性或结构化数据(如图像、图结构和字符串)的能力。为了突破这一瓶颈,本文作者提出了一种名为 NysHD 的全新方法,巧妙地将核近似领域中的 Nyström 方法 与超维计算相结合。
该技术的核心贡献在于提供了一个简洁的数学框架,能够将任意用户自定义的半正定(PSD)相似度函数转化为等效的 HDC 映射。通过这种机制,NysHD 成功将核方法中丰富的领域知识和专门设计的相似度函数“引入”到 HDC 生态系统中,极大地拓展了 HDC 能够解决的机器学习问题类型。在图数据集和字符串数据集上的广泛实验表明,与现有的 HDC 编码方法相比,NysHD 的分类准确率分别显著提升了 11% 和 17%,为未来在边缘设备上高效部署复杂的核学习算法开辟了新途径。
Summary
This paper introduces NysHD, a novel method that integrates hyperdimensional computing (HDC) with kernel approximation techniques (specifically, the Nyström method). By providing a simple framework to translate any user-defined positive-semidefinite similarity function into an equivalent HDC mapping, the approach expands the range of machine learning problems that HDC can tackle. Empirical results demonstrate that NysHD outperforms existing HDC encoding methods, achieving significant classification accuracy improvements of 11% on graph datasets and 17% on string datasets.
本文介绍了 NysHD,这是一种将超维计算(HDC)与核近似技术(具体为 Nyström 方法)相结合的新方法。通过提供一个简单的框架,将任何用户自定义的正半定相似度函数转换为等效的 HDC 映射,该方法扩展了 HDC 可以处理的机器学习问题范围。实验结果表明,NysHD 优于现有的 HDC 编码方法,在图数据集和字符串数据集上分别实现了 11% 和 17% 的显著分类准确率提升。
Paper Metadata
- arXiv Identifier: arXiv:2608.06860 [cs.LG]
- Subjects: Machine Learning (
cs.LG); Artificial Intelligence (cs.AI) - Submission Date: August 7, 2026
- Authors:
- Quanling Zhao
- Anthony Hitchcock Thomas
- Ari Brin
- Xiaofan Yu
- Tajana Rosing
- arXiv Identifier: arXiv:2608.06860 [cs.LG]
- Subjects: Machine Learning (
cs.LG); Artificial Intelligence (cs.AI)- Submission Date: August 7, 2026
- Authors:
- Quanling Zhao
- Anthony Hitchcock Thomas
- Ari Brin
- Xiaofan Yu
- Tajana Rosing
Abstract
Hyperdimensional computing (HDC) is an approach from the cognitive science literature for solving information processing tasks using data represented as high-dimensional random vectors. The technique has a rigorous mathematical backing, and is easy to implement in energy-efficient and highly parallel hardware like FPGAs and "processing-in-memory" architectures.
超维计算(HDC)是认知科学文献中的一种方法,用于使用表示为高维随机向量的数据来解决信息处理任务。该技术具有严密的数学基础,并且易于在节能且高度并行的硬件(如 FPGA 和“内存计算”架构)中实现。
The effectiveness of HDC in machine learning largely depends on how raw data is mapped to high-dimensional space. In this work, we propose NysHD, a new method for constructing this mapping that is based on the Nyström method from the literature on kernel approximation. Our approach provides a simple recipe to turn any user-defined positive-semidefinite similarity function into an equivalent mapping in HDC.
HDC 在机器学习中的有效性很大程度上取决于原始数据如何映射到高维空间。在这项工作中,我们提出了 NysHD,这是一种构建该映射的新方法,它基于核近似文献中的 Nyström 方法。我们的方法提供了一个简单的配方,可以将任何用户自定义的正半定相似度函数转化为 HDC 中的等效映射。
There is a vast literature on the design of such functions for learning problems. Our approach provides a mechanism to import them into the HDC setting, expanding the types of problems that can be tackled using HDC. Empirical evaluation against existing HDC encoding methods shows that NysHD can achieve, on average, 11% and 17% better classification accuracy on graph and string datasets respectively.
关于针对学习问题设计此类函数的文献浩如烟海。我们的方法提供了一种将其导入 HDC 设置的机制,从而扩展了可以使用 HDC 解决的问题类型。与现有 HDC 编码方法的实证评估表明,NysHD 在图数据集和字符串数据集上的平均分类准确率分别提高了 11% 和 17%。